Ông sinh năm 1947, tại làng Cấm Sơn, xã Duy Tụng, huyện Duy Xuyên, tỉnh Quảng Nam. Nguyên tổ của ông là Trạng nguyên Hồ Hưng Dật, sau dời ra Thanh Hóa, đến đời ông Hồ Kha thì cư trú tại Quỳnh Đôi, Nghệ An (1314) [1]. Sau khi quân Minh xâm lược Đại Việt, chi họ ông chạy vào ở làng Cấm Sơn, Duy Xuyên. Đến đời ông nội là người giàu có, nhiều ruộng và làm thêm nghề dệt lụa.

Do nhà giàu có, cha ông là Hồ Duy Từ được ăn học đàng hoàng, giỏi tiếng Pháp. Năm 1926, gia nhập Việt Nam Thanh niên Cách mạng Đồng chí Hội, năm 1929 vào An Nam Cộng sản đảng, năm 1930 là huyện ủy viên Duy Xuyên. Bị Pháp bắt giam đến năm 1936, đến khi phong trào Mặt trận bình dân Pháp nắm chính quyền thì được trả tự do và tiếp tục hoạt động. Tham gia cướp chính quyền tháng 8 năm 1945 và hoạt động cho Việt Minh, đến năm 1954 thì tập kết ra Bắc cùng với người con trai cả là Hồ Duy Diệm. Ông mất năm 1958.

Sau khi cha tập kết, mẹ và các anh chị em của Hồ Duy Hùng ở lại và sinh sống tại quê nhà. Năm 14 tuổi, ông vào học tại trường Trần Cao Vân, Tam Kỳ, Quảng Nam và tham gia hoạt động trong phong trào học sinh chống chính quyền. Trong thời gian này, ông được móc nối để hoạt động. Năm 1967, khi đang học đệ nhất thì bị lộ và bị khủng bố. Hồ Duy Hùng phải rời quê vào Quy Nhơn ở nhờ nhà người chú học tiếp tú tài 2. Tại đây, ông tiếp tục hoạt động bí mật trong phong trào sinh viên Sài Gòn - Gia Định do Phạm Chánh Trực [2] trực tiếp lãnh đạo.

Năm 1968, theo chỉ đạo của tổ chức, ông gia nhập Quân lực Việt Nam Cộng hòa và vào học trường sĩ quan Thủ Đức. Cuối năm đó, ông được chọn vào nhóm các sinh viên sĩ quan được chọn học Anh ngữ phi hành. Tháng 12 năm 1969, sau khi tốt nghiệp sinh ngữ từ trường sinh ngữ quân đội, ông được chọn đi học lái trực thăng ở Mỹ.